Detecting an Effect Is Not Learning to Act on It: A Reward-SNR Floor for LLM Acquisition Agents
检测效果不等于学会按例行动：LLM采集智能体的奖励信噪比下限
🧭 LLM信号获取决策 · 奖励信噪比下限
University of California, San Diego
揭示LLM信号平均有效但无法学习按例决策的信噪比下限，噪声占位符可复现虚假增益
📌 工作参考价值（4 点）
- 在电商 Agent 决策（如是否调用 LLM 生成推荐文案）前，先计算信号效应的信噪比 ρ=μ/σ，并确保 ρ>2.8/√N，否则学习路由策略将退化为随机。
- 当信噪比不足时，放弃学习动态按例获取策略，改用设计时的静态分片（如按用户群体、场景开关）来规避无效学习。
- 验证 Agent 决策可学习性时，必须加入噪声占位符对照：用匹配矩的独立噪声替换信号，若仍能复现≥100%的 Oracle 增益，说明原始“可学习结构”实为噪声排序伪象。
- 结构化假设嵌入（SHE）提供了一种可解释的用户意图注入方式：用冻结 LLM 生成带置信度的意图列表并嵌入召回或排序模型，适合电商中长短期兴趣解耦，但需注意其对模型 backbone 敏感，建议先在特定 regime 内验证提升。